Existing deep learning-based traffic forecasting models are mainly trained with MSE (or MAE) as the loss function, assuming that residuals/errors follow independent and isotropic Gaussian (or Laplacian) distribution for simplicity. However, this assumption rarely holds for real-world traffic forecasting tasks, where the unexplained residuals are often correlated in both space and time. In this study, we propose Spatiotemporal Residual Regularization by modeling residuals with a dynamic (e.g., time-varying) mixture of zero-mean multivariate Gaussian distribution with learnable spatiotemporal covariance matrices. This approach allows us to directly capture spatiotemporally correlated residuals. For scalability, we model the spatiotemporal covariance for each mixture component using a Kronecker product structure, which significantly reduces the number of parameters and computation complexity. We evaluate the performance of the proposed method on a traffic speed forecasting task. Our results show that, by properly modeling residual distribution, the proposed method not only improves the model performance but also provides interpretable structures.

Spatiotemporal traffic data imputation is of great significance in intelligent transportation systems and data-driven decision-making processes. To make an accurate reconstruction on partially observed traffic data, we assert the importance of characterizing both global and local trends in traffic time series. In the literature, substantial prior works have demonstrated the effectiveness of utilizing low-rankness property of traffic data by matrix/tensor completion models. In this study, we first introduce a Laplacian kernel to temporal regularization for characterizing local trends in traffic time series, which can be formulated in the form of circular convolution. Then, we develop a low-rank Laplacian convolutional representation (LCR) model by putting the nuclear norm of a circulant matrix and the Laplacian temporal regularization together, which is proved to meet a unified framework that takes a fast Fourier transform solution in a relatively low time complexity. Through extensive experiments on some traffic datasets, we demonstrate the superiority of LCR for imputing traffic time series of various time series behaviors (e.g., data noises and strong/weak periodicity). The proposed LCR model is an efficient and effective solution to large-scale traffic data imputation over the existing baseline models. The adapted datasets and Python implementation are publicly available at https://github.com/xinychen/transdim.

Score-based modeling through stochastic differential equations (SDEs) has provided a new perspective on diffusion models, and demonstrated superior performance on continuous data. However, the gradient of the log-likelihood function, i.e., the score function, is not properly defined for discrete spaces. This makes it non-trivial to adapt \textcolor{\cdiff}{the score-based modeling} to categorical data. In this paper, we extend diffusion models to discrete variables by introducing a stochastic jump process where the reverse process denoises via a continuous-time Markov chain. This formulation admits an analytical simulation during backward sampling. To learn the reverse process, we extend score matching to general categorical data and show that an unbiased estimator can be obtained via simple matching of the conditional marginal distributions. We demonstrate the effectiveness of the proposed method on a set of synthetic and real-world music and image benchmarks.

The problem of broad practical interest in spatiotemporal data analysis, i.e., discovering interpretable dynamic patterns from spatiotemporal data, is studied in this paper. Towards this end, we develop a time-varying reduced-rank vector autoregression (VAR) model whose coefficient matrices are parameterized by low-rank tensor factorization. Benefiting from the tensor factorization structure, the proposed model can simultaneously achieve model compression and pattern discovery. In particular, the proposed model allows one to characterize nonstationarity and time-varying system behaviors underlying spatiotemporal data. To evaluate the proposed model, extensive experiments are conducted on various spatiotemporal data representing different nonlinear dynamical systems, including fluid dynamics, sea surface temperature, USA surface temperature, and NYC taxi trips. Experimental results demonstrate the effectiveness of modeling spatiotemporal data and characterizing spatial/temporal patterns with the proposed model. In the spatial context, the spatial patterns can be automatically extracted and intuitively characterized by the spatial modes. In the temporal context, the complex time-varying system behaviors can be revealed by the temporal modes in the proposed model. Thus, our model lays an insightful foundation for understanding complex spatiotemporal data in real-world dynamical systems. The adapted datasets and Python implementation are publicly available at https://github.com/xinychen/vars.

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

没有人类在真空中开车。她/他必须与其他道路使用者进行谈判，以在社交交通场景中实现目标。理性的人类驾驶员可以通过隐式通信以社交兼容的方式与其他道路使用者进行互动，以便在互动密集型，关键的安全环境中平稳地完成其驾驶任务。本文旨在审查现有的方法和理论，以帮助理解和重新考虑人类驱动因素与社会自主驾驶之间的互动。我们进行此调查以寻求一系列基本问题的答案：1）道路交通场景中的社交互动是什么？ 2）如何衡量和评估社会互动？ 3）如何建模和揭示社会互动的过程？ 4）人类驾驶员如何达成隐性协议并在社交互动方面平稳地谈判？本文回顾了建模和学习人类驱动因素之间的社会互动的各种方法，从优化理论和图形模型到社会力量理论以及行为和认知科学。我们还重点介绍了一些新的方向，关键挑战和未来研究的开头问题。

多目标自组织追求（SOP）问题已广泛应用，并被认为是一个充满挑战的分布式系统的自组织游戏，在该系统中，智能代理在其中合作追求具有部分观察的多个动态目标。这项工作为分散的多机构系统提出了一个框架，以提高智能代理的搜索和追求能力。我们将一个自组织的系统建模为可观察到的马尔可夫游戏（POMG），具有权力下放，部分观察和非通信的特征。然后将拟议的分布式算法：模糊自组织合作协同进化（FSC2）杠杆化，以解决多目标SOP中的三个挑战：分布式自组织搜索（SOS），分布式任务分配和分布式单目标追踪。 FSC2包括一种协调的多代理深钢筋学习方法，该方法使均匀的代理能够学习天然SOS模式。此外，我们提出了一种基于模糊的分布式任务分配方法，该方法将多目标SOP分解为几个单目标追求问题。合作进化原则用于协调每个单一目标问题的分布式追随者。因此，可以缓解POMG中固有的部分观察和分布式决策的不确定性。实验结果表明，在所有三个子任务中，分布式不传动的多机构协调都具有部分观察结果，而2048 FSC2代理可以执行有效的多目标SOP，其捕获率几乎为100％。

现代时间序列数据集通常是高维，不完整/稀疏和非组织的。这些属性阻碍了时间序列预测和分析的可扩展和高效解决方案的开发。为了应对这些挑战，我们提出了一个非平稳的时间矩阵分解（NOTMF）模型，其中使用矩阵分解来重建整个时间序列矩阵和矢量自回旋（var）过程，该过程施加在适当差异的时间因子矩阵的副本上。这种方法不仅保留了数据的低级属性，还提供了一致的时间动力。 NOTMF的学习过程涉及两个因子矩阵和VAR系数矩阵集合的优化。为了有效地解决优化问题，我们得出了一个交替的最小化框架，其中使用共轭梯度和最小二乘方法来解决子问题。特别是，使用共轭梯度方法提供了有效的例程，并允许我们在大规模问题上应用NOTMF。通过对Uber运动速度数据集进行的广泛实验，我们证明了NOTMF的卓越准确性和有效性，而不是其他基线模型。我们的结果还证实了解决现实世界中时间序列数据（如时空交通流/速度）的非平稳性的重要性。

本文调查了从紧凑型代表和存储训练参数的角度来看深神经网络（DNN）压缩。我们探讨了用于DNN参数的跨层架构 - 不可知表示共享的先前被忽视的机会。为此，我们从DNN架构中解耦了前馈参数并利用添加量量化，用于图像描述符的极端损耗压缩方法，以紧凑地表示参数。然后，在任务目标上是Fineetune的，以提高任务准确性。我们对MobileNet-V2，VGG-11，Reset-50进行了广泛的实验，具有用于分类，检测和分割任务的修剪培训的Pruned DNN。概念上简单的方案始终如一地优于迭代非结构化修剪。在ILSVRC12分类挑战上以76.1％的高精度应用于Reset-50，它实现了7.2美元的价格，没有准确性损失和15.3美元的准确度。进一步的分析表明，在网络层中可能经常发生表示共享，并且整个DNN的学习共享表示可以以与多个单独的部分压缩模型相同的压缩比以相同的压缩比实现更好的精度。我们释放Pytorch码以促进资源受限设备上的DNN部署，并对DNN参数的有效表示和存储的未来研究。

巴士系统是可持续城市交通的关键组成部分。然而，公交车队的操作本质上是不稳定的，总线串行已成为泛滥的现象，破坏了公交系统的效率和可靠性。最近的研究表明，多智能体增强学习（MARL）应用了高效的车载控制，以避免公共汽车束缚。然而，现有的研究基本上忽略了过境系统中的各种事件，扰动和异常导致的稳健性问题，这在传输现实世界部署/应用程序的模型时至关重要。在这项研究中，我们将隐式分位式网络和元学习集成了开发分布式Marl框架 - IQNC-M - 以学习连续控制。所提出的IQNC-M框架通过更好地处理实时运输操作中的各种不确定性/事件来实现高效可靠的控制决策。具体而言，我们介绍一个可解释的元学习模块，将全球信息纳入分配MARL框架，这是一种有效的解决方案，以规避过境系统中的信用分配问题。此外，我们设计了一个特定的学习过程，以培训框架内的每个代理，以追求强大的控制策略。我们基于现实世界总线服务和乘客需求数据开发仿真环境，并评估传统控股型号和最先进的MARL模型的建议框架。我们的研究结果表明，建议的IQNC-M框架可以有效处理各种极端事件，如交通状态扰动，服务中断和需求浪涌，从而提高了系统的效率和可靠性。